From RGB Generation to Dense Field Readout: Pixel-Space Dense Prediction with Text-to-Image Models
从 RGB 生成到密集场读出：用文生图模型做像素空间密集预测
🧭 利用文生图 DiT 直接读出密集预测场
UCSD · HKUST
冻结 DiT 并加 LoRA，直接从 patch token 线性读出深度/法线等密集场，避免生成 RGB 再解码
📌 工作参考价值（3 点）
- 冻结大模型 + 线性读出：用预训练生成模型作为编码器后，直接接任务线性头输出密集数值，避免生成中间媒介，简化推理 pipeline。推荐系统中可将 LLM 编码的用户/物品表示直接读出 CTR 或评分，省去文本解码步骤。
- LoRA 适配低成本复用：仅训练 LoRA 参数和极轻量线性头（约 33K 参数），适合业务中快速利用不同预训练基座适应新任务，如点击率预估、兴趣强度预测。
- 保持输入分布，换输出接口：保留 VAE 编码器维持模型输入一致性，只替换目标侧解码，这对在原有推荐模型框架上嫁接新预测目标有参考意义——保持上游不变，只改下游头。